Новая уязвимость, обнаруженная в ChatGPT, позволила исследователям извлекать личную информацию пользователей, что стало очередным эпизодом в повторяющемся цикле атак и защит в сфере AI-чатботов. Исследователи из Radware использовали уязвимость, получившую название "ZombieAgent", для скрытной утечки данных непосредственно с серверов ChatGPT, что повысило скрытность атаки.

Этот инцидент подчеркивает фундаментальную проблему в безопасности AI: присущая AI конструкция, направленная на выполнение запросов пользователей, часто делает защитные меры скорее реактивными, чем проактивными. Согласно отчету Radware, атака "ZombieAgent" позволяла отправлять данные непосредственно с серверов ChatGPT. Эта возможность обеспечила дополнительную скрытность, поскольку утечка данных, казалось, исходила из надежного источника.

Схема, как это наблюдалось в предыдущих инцидентах, таких как "ShadowLeak", включает в себя выявление и использование исследователями уязвимостей, за которым следует внедрение платформой конкретных средств защиты. Однако эти средства защиты часто касаются только конкретного метода атаки, оставляя более широкие классы уязвимостей без внимания. Этот реактивный подход подобен установке нового дорожного ограждения после конкретного типа автомобильной аварии, без учета безопасности других транспортных средств.

Основная проблема заключается в самой природе AI. Чат-боты предназначены для выполнения запросов пользователей, которыми можно манипулировать для обхода мер безопасности. Эта присущая AI податливость затрудняет создание всеобъемлющих мер защиты от всех потенциальных атак.

Обнаружение "ZombieAgent" подчеркивает необходимость более целостного подхода к безопасности AI. Вместо того чтобы сосредотачиваться исключительно на реактивных мерах, разработчики должны уделять приоритетное внимание проактивным стратегиям, которые устраняют основные уязвимости, позволяющие совершать эти атаки. Это включает в себя внедрение надежных протоколов безопасности на этапе проектирования AI-систем и непрерывный мониторинг потенциальных угроз.

Последствия этих уязвимостей выходят за рамки отдельных пользователей. Утечки данных могут подорвать доверие к AI-системам и затруднить их внедрение в различных секторах. Кроме того, возможность использования этих уязвимостей злоумышленниками вызывает опасения по поводу злоупотребления AI в преступных целях.

По мере развития AI-технологий цикл атак и защит, вероятно, сохранится. Решение этой проблемы требует совместных усилий исследователей, разработчиков и политиков для разработки и внедрения всеобъемлющих мер безопасности, которые защищают пользователей и способствуют ответственному развитию AI. Текущий статус уязвимости и конкретные контрмеры, реализованные OpenAI, не были немедленно доступны.